Learning and imitation in heterogeneous robot groups

Mit wachsenden technischen Fähigkeiten und gestiegenen Rechenkapazitäten dringen autonomeRoboter immerweiter in bislang undenkbareAnwendungsfelder vor. Die effiziente Programmierung des gewünschten Roboterverhaltens zählt dabei zu einem der herausforderndsten Themen in der Robotik. Verfahren, die ausschließlich auf Lernen basieren, haben den Nachteil einer langen Lerndauer. Imitation ist hier als mächtiges Werkzeug bekannt, mit dem Roboter das Verhalten voneinander übernehmen können und dadurch Lernabkürzungen nehmen können. Dazu muss der imitierendeRoboter die sogenannten fünfwichtigen Fragen der Imitation beantworten: wann soll welches Verhalten von welchem Roboter wie imitiert, und wie soll der Imitationserfolg schließlich gemessen werden. Die Komplexität des Imitationsprozesses hat im Roboterumfeld bisher zu Lösungen geführt, die sich nur auf einen Ausschnitt dieser Fragen konzentrieren und den Rest als gegeben betrachten oder ignorieren. Die hier zusammengefasste Dissertation [Ric09] leistet dabei einen wichtigen Beitrag zumStand der Forschung, indem sie diese Fragen der Imitation in der Robotik zum ersten Mal geschlossen beantwortet. Mit der vorgestellten Roboterarchitektur und den darauf aufbauenden Verfahren kann Imitation nun auch in vollkommen autonomen Robotergruppen angewandt werden. 1 Einführung Mit Imitation kann ein Roboter sowohl seinen Lernprozess beschleunigen, als auch seine Einsatzdauer erhöhen, da er besonders riskante Explorationen auslässt. Imitation ist dabei ein Sammelbegriff, unter demThemenfelder wie z.B. Programming By Example [Lie01], Apprenticeship Learning [CAN09] oder Behavioral Cloning [KSS06] zusammengefasst werden. Damit ein Roboter überhaupt imitieren kann, müssen die folgenden Fragen geklärt sein [DN02]1: Wer soll imitiert werden? In einer heterogenen Robotergruppe sind nicht alle Roboter gleich gute Demonstratoren. Wann soll imitiert werden? Der Imitator muss die aktuelle Situation des potentiellen Demonstrators berücksichtigen und ihn nur dann imitieren, wenn er gerade etwas imitierungswürdiges ausführt. 1Im Folgenden bezeichnet Imitator den Roboter, der imitieren möchte, und Demonstrator einen Roboter, der potentiell imitiert werden kann. C-LAB Report C-LAB-TR-2010-04 3 von 12 Was soll imitiert werden?Das Endergebnis des beobachtetenVerhaltens, die einzelnenAktionen, die zu dem Ergebnis geführt haben, oder das dahinter liegende Ziel, das der Demonstrator aller Wahrscheinlichkeit nach gehabt hat? Wie soll das beobachtete Verhalten in das bereits gelernte Verhalten und die Aktionsfähigkeiten des Imitators integriert werden (das sog. Korrespondenzproblem)? Wie bewerten? Was sollte als erfolgreicher und was als eher erfolgloser Imitationsversuch gezählt werden? In der Literatur wird fast ausschließlich das “wie” und “was” thematisiert. Die Frage, “wer” imitiert werden soll, wird hingegenmeistens ignoriert – oft dadurch, dass ein Roboter einen zuvor spezifiziertenmenschlichen Experten imitieren soll oder dadurch, dass inMultiroboterszenarien nur exakt baugleicheRoboter eingesetzt werden.Weiterwird die Frage, “wann” imitiert werden soll, in vielen Ansätzen dadurch gelöst, dass Start und Ende des zu imitierenden Verhaltens fest vorgegeben werden. Die Bewertung des Imitationserfolges wird dann über die Ähnlichkeit von demonstrierter und imitierter Handlung bestimmt. In Robotergruppen sollte jedoch nicht die Ähnlichkeit der Verhaltensreproduktion, sondern der Nutzen des imitierten Verhaltens für den Imitator ausschlaggebend sein. Schlussendlich wird meistens der Tabula Rasa Ansatz gewählt: Die Imitation startet ohne Vorwissen. Ein vorheriges oder anschließendes Weiterlernen von Verhalten ist nicht möglich. Aus diesen Gründen war Imitation in autonomen Robotergruppen ohne manuelle Intervention bislang nicht einsatzfähig. Dabei ist gerade hier Imitation besonders sinnvoll: Einmal gelerntes Verhalten kann in der Gruppe durch Imitation schnell an weitere Gruppenmitglieder propagiert werden, die den zeitaufwendigen Explorationsprozess für das jeweilige Verhalten dann nicht mehr selber durchführen müssen. Die Herausforderungen wurden in der Dissertation mit Hilfe einer speziellen Architektur und darauf basierenden Verfahren gelöst, die Imitation mit eigenem Lernen kombinieren (Abschnitt 2). Damit kann ein Roboter seine Gruppenmitglieder sogar dann imitieren, wenn diese mit einer anderen Hardoder Software laufen, solange sie ihren allgemeinen Befindlichkeitszustand nach außen signalisieren – ähnlich dem menschlichen Emotionszustand, welcher uns oft in der Frage leitet, ob wir jemanden imitieren oder nicht. Dies ist auch die einzige Anforderung, die in dieser Arbeit an zu imitierende Roboter gestellt wird. Das “wann”, also das Zeitintervall der Imitation, wird durch den eben erwähnten beobachteten Befindlichkeitszustand des Demonstrators bestimmt. Das “was” und “wie” wird dadurch gelöst, dass der Imitator selberAktionen gegen eine Zielfunktion lernen kann.Dies kann einerseits genutzt werden, umden Fortschritt der eigenenAktion zumessen, andererseits um diese Aktion in dem beobachteten Verhalten eines anderen Roboters zu erkennen (Abschnitt 3). Die Frage, “wer” imitiert werden soll, verlangt nach einerMetrik, die die Unterschiede in denAktionsfähigkeiten der einzelnen Roboternmessen kann. Auch in diesem Bereich gibt es zurzeit nur sehr begrenzt Beiträge in der Literatur. Während einige Ansätze detaillierte Informationen über die zugrunde liegenden Zustandsund Aktionsräume der beiden zu vergleichenden Roboter benötigen, verlangen andere, dass das Korrespondenzproblemmanuell gelöst wird. Der in dieser Dissertation vorgestellte Ansatz beantwortet die Frage in Form eines neuen Ansatzes zur Messung von Verhaltensdifferenzen, der benutzt werden kann, ohne vorher auf die Imitationsdaten zuzugreifen (Abschnitt 4). C-LAB Report C-LAB-TR-2010-04 4 von 12